Hypergraph Embedding Indexing for Efficient Dense Vector Retrieval
超图嵌入索引:高效稠密向量检索
🧭 向量检索 · 倒排索引
Sodhana
HEI 按高激活潜维度组合组织文档,用倒排索引生成候选并保留语义排序
📌 工作参考价值(4 点)
- 在电商向量召回中,可将商品/用户 embedding 的高激活维度组合构造成倒排索引,替代或混合 HNSW,降低线上粗排阶段延迟与内存占用;适合作为大规模候选生成层。
- 采用多个互补超图(不同维度子集、不同激活阈值、不同语义簇)做多路召回,再融合重排,能提升长尾商品或冷门内容的覆盖,避免单超图维度增加带来的组合爆炸。
- 引入 activation diversity 作为诊断指标:评估当前训练出的 embedding 是否适合坐标倒排索引;若 diversity 低,可考虑加稀疏正则、维度解相关或调整训练目标,使向量更可索引。
- 该框架对 embedding 的稀疏/高激活特性有依赖,在业务中可先对已有向量做激活分布分析,判断是否值得迁移到倒排索引路线。